Migrando data warehouse para a nuvem: o guia definitivo

Migrar seu data warehouse para a nuvem é crucial.

À medida que as organizações começam a perceber a necessidade e a importância da análise de dados, mais e mais delas procuram implementar um data warehouse corporativo para aproveitar os dados que, de outra forma, ficariam presos em silos. Além de ajudar as organizações a consolidar seus dados, um data warehouse pode ser usado para manter o histórico de dados e tornar mais fácil consultar os dados.

Embora os armazéns de dados locais e na nuvem ofereçam imensos benefícios, a maioria das organizações hoje prefere migrar os armazéns de dados para a nuvem em vez de armazéns de dados na nuvem modernos, em comparação com armazéns de dados legados, devido à maior agilidade, escalabilidade e segurança que oferecem. .

Os data warehouses baseados em nuvem também oferecem mais flexibilidade e podem ser menos dispendiosos para organizações que estão apenas começando a descobrir quais recursos precisarão e quanto espaço de armazenamento será suficiente para seus projetos.

Embora os armazéns de dados locais e em nuvem ofereçam imensos benefícios, a maioria das organizações hoje prefere optar por armazéns de dados em nuvem modernos, em comparação com armazéns de dados legados, devido à maior agilidade, escalabilidade e segurança que oferecem.

Os data warehouses baseados em nuvem também oferecem mais flexibilidade e podem ser menos dispendiosos para organizações que estão apenas começando a descobrir quais recursos precisarão e quanto espaço de armazenamento será suficiente para seus projetos.

Pensando em migrar sua arquitetura de análise de dados para a nuvem? Aqui está tudo o que você precisa saber sobre a migração de data warehouses para a nuvem e como você pode tornar a migração de data warehouse suave e fácil.

O que são armazenamento de dados local e em nuvem?

As organizações que usam um data warehouse local precisam comprar todos os equipamentos de armazenamento que irão abrigar seus próprios dados. Eles também serão responsáveis ​​por configurar a infraestrutura necessária em um local físico de sua escolha e todas as atividades de manutenção subsequentes para este hardware.

O inverso é verdadeiro para armazéns de dados em nuvem.

O provedor de data warehouse em nuvem cuida de todo o hardware e manutenção dos pipelines de dados e data warehouse. Além disso, a maioria dos provedores de data warehouse em nuvem também permite que os usuários paguem apenas pelos serviços que utilizaram, permitindo que as organizações dimensionem sua arquitetura com base nos requisitos de armazenamento e processamento.

Importância da migração para a nuvem na modernização do data warehouse

O data warehouse em nuvem oferece vários benefícios exclusivos que não são possíveis com os data warehouses locais. Aqui estão alguns motivos pelos quais sua organização deve mover seu data warehouse para a nuvem:

Aproveitando uma Estratégia de Modernização de Data Warehouse de Automação em Primeiro Lugar

Como parte dessa estratégia, a ênfase é colocada na automação do data warehouse. A automação acelera todo o processo, seja lidando com um projeto de migração de data warehouse em nuvem greenfield ou modernizando seus sistemas legados existentes.

O projeto de modernização começa essencialmente com ferramentas que facilitam a modernização automatizando processos específicos ao longo do processo de migração. Nesse caso, as empresas aproveitam as plataformas de ponta a ponta para acelerar todos os aspectos de seu esforço de modernização do data warehouse, desde a ingestão de dados até a migração para a nuvem.

Reduzindo custos e capacitando usuários de dados

Um data warehouse em nuvem pode custar muito menos do que um data warehouse local por vários motivos. Com um data warehouse em nuvem, você não precisa se preocupar em adquirir equipamentos de armazenamento, segurança ou qualquer outra coisa. Esse custo inicial para data warehouses locais pode ser um impedimento para organizações com orçamento apertado.

Além disso, a nuvem solução de armazenamento de dados os provedores oferecem uma série de funcionalidades e capacidades com base no pagamento conforme o uso, tornando mais fácil para as organizações experimentarem e descobrirem o que precisam e o que funciona melhor para suas soluções analíticas.

Além disso, as ferramentas modernas de automação de data warehouse eliminam a necessidade de codificação e fornecem uma interface intuitiva de apontar e clicar, capacitando o usuário final a assumir o controle de suas iniciativas de BI. Isso oferece economia de custos garantida porque uma plataforma de migração unificada permite que os usuários finais criem uma jornada de migração personalizada com base em sua arquitetura de dados atual e em requisitos futuros, sem depender de equipes técnicas e consultores.

Evitando o aprisionamento do fornecedor

As ferramentas de automação modernas são independentes de plataforma, o que significa que funcionam igualmente bem em diferentes ambientes de nuvem. Esse recurso protege as empresas contra problemas de dependência de fornecedor, uma vez que essas ferramentas modernas permitem modernizar seus data warehouses, implantando-os na plataforma de sua escolha, sem se preocupar com a recodificação de pipelines de dados ou com a perda de dados críticos.

Suporte a diferentes abordagens de migração para a nuvem

As ferramentas automatizadas de migração para a nuvem desempenham um papel importante em diferentes abordagens de migração. Por exemplo, a automação permite que você faça lift-and-shift (por meio do modelo de infraestrutura como serviço), elimine e substitua (re-plataforma) ou empregue uma arquitetura de nuvem híbrida com alguns sistemas locais e outros em ambientes internos. a nuvem.

Além disso, um processo de migração alimentado por automação é imune a erros humanos e protege contra perda de dados e tempo de inatividade. Tudo isso leva a um tempo de migração significativamente reduzido, custos gerais de migração mais baixos e, o mais importante, interrupção mínima nas operações de negócios.

Escalando análises

Os data warehouses baseados em nuvem oferecem imensa escalabilidade e flexibilidade para organizações que buscam melhorar seus esforços analíticos. A elasticidade oferecida pelos provedores de soluções de data warehouse em nuvem também dá às organizações a liberdade de aumentar ou diminuir a escala conforme e quando necessário.

Impulsionando a integração e o processamento de dados

Os data warehouses em nuvem geralmente empregam o método ELT para integrar e processar dados muito mais rapidamente do que os data warehouses locais. Os usuários podem aproveitar os recursos de processamento paralelo massivo (MPP) de plataformas em nuvem, como Amazon Redshift e Microsoft Azure, para construir pipelines ELT de e para seu data warehouse.

Com o ELT, os usuários não precisam mais aproveitar seu hardware interno para realizar transformações caras. Em vez disso, eles podem aproveitar o poder da plataforma de destino para executar essas operações com muito mais rapidez, sem qualquer movimentação desnecessária de dados.

Pré-requisitos de uma estratégia ideal de migração para a nuvem

Informações da McKinsey revelou que as empresas da Fortune 500 poderiam desbloquear até US$ 1 trilhão em valor comercial por meio da adoção da nuvem. Embora a maioria das organizações esteja ciente do enorme valor da migração para a nuvem, a implementação dessas iniciativas é outra questão.

Os cronogramas para migração para a nuvem foram substancialmente truncados. Empresas como Netflix levou sete anos para migrar para a nuvem. Com tanta concorrência, as empresas agora precisam realizar essa façanha em um ano.

Várias estratégias podem ser implantadas para projetar essas mudanças, desde a extração e substituição por atacado até os data centers híbridos. Decidir sobre uma abordagem e arquitetura que funciona melhor para o seu negócio, encontrar o conhecimento e as tecnologias para dar suporte à computação em nuvem e, finalmente, elaborar um plano de implementação que atenda às necessidades de todas as partes interessadas é mais fácil falar do que fazer.

Vejamos os elementos que devem definir uma estratégia eficaz de migração para a nuvem.

Fatores para uma migração bem-sucedida de data warehouse para a nuvem

Embora a migração de data warehouses para a nuvem seja essencial, a migração para a nuvem apresenta uma série de desafios. Por esse motivo, é essencial manter alguns fatores internos e externos em mente ao planejar a estratégia de migração do data warehouse na nuvem para garantir que a transição seja tranquila e sem complicações.

Avalie seu data warehouse existente

Avaliar seu data warehouse existente é uma das etapas mais importantes ao se preparar para uma migração para a nuvem. Uma avaliação completa não só permitirá que você identifique como seus sistemas, aplicativos, modelos de dados e outras dependências interagem entre si, mas também será capaz de identificar onde seu sistema atual está faltando, permitindo que você mitigue quaisquer problemas causados por essas fraquezas em seu novo data warehouse.

Realizar uma avaliação completa sem preconceitos também o ajudará a determinar qual abordagem de migração de data warehouse funcionaria melhor, considerando o estado de seu data warehouse atual. Certifique-se de manter uma lista de verificação de avaliação de migração na nuvem à mão para garantir que nada esteja errado durante o processo de migração do local para a nuvem.

Crie uma estratégia de migração para a nuvem

A primeira coisa que você deve fazer ao pensar em migrar seu data warehouse para a nuvem é criar uma estratégia.

Uma estratégia de migração de data warehouse na nuvem garantirá que seus sistemas e equipes não fiquem sobrecarregados por tentar fazer muito rápido demais. Enquanto algumas organizações preferem modernizar e migrar seu data warehouse de uma só vez, outras tendem a acelerar seus resultados. Dito isso, é essencial garantir que seu projeto de migração de data warehouse não se estenda por períodos de tempo muito grandes, pois isso pode ser contraproducente e causar atrasos desnecessários em seus esforços de análise e inteligência de negócios.

Determine seu caso de uso

Determinar o caso de negócios que garante a modernização de seu data warehouse será uma das primeiras etapas a serem consideradas como parte de sua estratégia de migração para a nuvem. Depois de estabelecer seus objetivos de migração, o alinhamento de recursos e cronogramas se torna muito mais simples.

Ele será usado para análise de nuvem em tempo real ou recuperação de desastres? Ele será usado para unificar o software financeiro em vários sistemas ou para transferir dados de arquivo para a nuvem?

Independentemente do caso de uso, é fundamental perceber qual é o caminho mais eficiente para a nuvem. Isso inclui a identificação de dados não críticos, por exemplo, arquivos de e-mail, que podem ser movidos na primeira fase. Os requisitos também incluem:

• Determinar o nível de dependência da organização em seus dados, por exemplo, se há dados que precisarão ser ressincronizados
• Determinar se os requisitos de conformidade específicos precisam ser atendidos, por exemplo, cumprir a HIPAA ao mover o histórico médico do paciente
• Identificando se os dados precisam ser limpos primeiro

Entenda como a migração local para a nuvem afetará sua equipe

Também é importante envolver o pessoal-chave que usará seu data warehouse na nuvem durante o processo de migração e definir como eles se encaixam no planejamento geral. Manter o pessoal-chave informado durante todo o processo garantirá que o data warehouse em nuvem seja aproveitado ao máximo, com o mínimo ou nenhuma interrupção.

Neste ponto, também é importante ter uma boa ideia de como diferentes ferramentas e aplicativos cruciais (como plataformas de visualização e ferramentas bi de inteligência de negócios, por exemplo) serão usados ​​com a nova arquitetura.

Identifique a melhor plataforma

Sua estratégia de migração para a nuvem deve ser capaz de resolver o problema de aprisionamento do fornecedor. A capacidade de elevar e transferir dados e cargas de trabalho de TI livremente é inestimável para as empresas. No entanto, a concorrência acirrada, as restrições regulatórias e as tecnologias e softwares proprietários significam que não é possível estender alguns dos serviços oferecidos pelo provedor de serviços de nuvem existente para outra plataforma de nuvem. Portanto, a maioria das empresas está comprometida com um único provedor de serviços por longos períodos.

Portanto, realizar uma pesquisa completa antes de adotar uma plataforma em nuvem é essencial. Algumas práticas recomendadas para proteger sua organização contra o problema de aprisionamento do fornecedor são fornecidas abaixo.

• Identifique todos os seus requisitos de negócios e tecnologia
• Identifique as semelhanças e dependências complexas
• Avalie completamente o mercado de fornecedores de plataformas de nuvem
• O custo associado à migração para uma plataforma concorrente pode rapidamente se tornar o maior obstáculo; certifique-se de ter feito sua lição de casa nesta frente
• Considere atualizar antes de migrar
• Garanta que sua escolha de plataforma não leve a problemas de interoperabilidade entre sistemas

Avaliar Requisitos de Custo Associados

Embora a modernização de seu data warehouse reduza os custos a longo prazo, o processo pode exigir um investimento inicial substancial. Portanto, sua estratégia de migração para a nuvem deve destacar possíveis caminhos para otimização de custos ao longo de todo o processo de modernização. Uma vez o modernização do data warehouse plano está em vigor e você identificou todos os requisitos, você deve ser capaz de fazer uma projeção confiável de custos de migração para a nuvem.

A estrutura de custos de um data warehouse legado é diferente daquela de um data warehouse na nuvem. A métrica mais importante a ser considerada ao comparar os custos associados a um data warehouse local com os custos associados a um data warehouse na nuvem é o TCO (custo total de propriedade).

Considere os seguintes custos diretos e indiretos associados ao migrar seu data warehouse para a nuvem:

• O custo associado ao volume de dados/custos de armazenamento

Por exemplo, o Snowflake cobra separadamente por armazéns virtuais, armazenamento de dados e serviços em nuvem. Normalmente, as cobranças mensais mínimas são de US$ 25 e as cobranças de armazenamento são definidas em US$ 40 por TB.

• Investimento inicial ao migrar de um data warehouse legado

Dependendo da arquitetura atual e do estado final desejado, o investimento inicial pode incluir custos associados ao estabelecimento de novos padrões de segurança, plataformas de migração de terceiros e contratação e treinamento de pessoal adicional. De acordo com um estudo de Forrester, os custos trabalhistas podem representar até 50% desse investimento.

• Taxas de consulta

Embora a pilha de tecnologia certa possa mitigar os obstáculos, é necessário ter a experiência certa a bordo para orientar a jornada de migração. Os consultores são contratados para avaliar a preparação geral da organização para a migração para a nuvem e desempenham um papel importante na criação de estratégias e na criação de um roteiro sólido.

Outro custo essencial associado à modernização do data warehouse é o custo de oportunidade incorrido sempre que as operações de negócios são interrompidas durante o processo de migração.

No que diz respeito ao mercado de migração para a nuvem, existem várias calculadoras de migração para a nuvem para estimar os custos com base em suposições realistas. Além disso, é uma boa ideia coordenar com os fornecedores da plataforma em nuvem para identificar oportunidades de redução de custos, tanto durante o processo de migração quanto após a configuração do data warehouse em nuvem.

Garantir Boas Práticas de Governança de Dados

Uma das maiores preocupações de negócios em relação à migração de data warehouse na nuvem é a segurança e a conformidade. Normalmente, as plataformas em nuvem operam em um modelo operacional compartilhado no que diz respeito à responsabilidade, o que significa que o fornecedor é responsável pela segurança da infraestrutura. Ao mesmo tempo, a organização, ou o cliente, precisa proteger seus dados e cargas de trabalho de forma independente.

Além disso, o próprio processo de modernização do data warehouse é arriscado quando se trata de dados confidenciais. Embora vários fornecedores de plataforma em nuvem forneçam controles de segurança de última geração apoiados por certificações, como SOC 2, ainda é responsabilidade da organização garantir que eles sejam configurados de acordo com os requisitos.

Vale ressaltar que concluir o processo de modernização não significa que as empresas devam encarar a segurança e a conformidade dos dados levianamente. Em vez disso, é responsabilidade das empresas garantir que continuam a cumprir as leis regulatórias, como GDPR e HIPAA.

O GDPR tem vários princípios que mantêm todos os provedores de serviços de nuvem em alerta. Por exemplo, se um processo de migração resultar na perda de dados expondo as informações pessoais de alguém, a organização ficará em apuros. Isso não quer dizer que as ferramentas e/ou fornecedores de migração de data warehouse na nuvem não sejam adequados para dar suporte à governança e à conformidade. Na verdade, isso é para enfatizar que a conformidade com as leis regulatórias é uma parte fundamental da sua estratégia de migração para a nuvem.

Tenha um plano de contingência

Ao migrar para a nuvem, é essencial ter em mente que a realidade pode ser diferente do que você esperava. Na verdade, em alguns casos, você pode até precisar rever sua estratégia de migração de data warehouse para garantir que dados cruciais não sejam perdidos e a produtividade de seus negócios não seja afetada durante a transição.

Independentemente da abordagem de migração de data warehouse que você escolher, você também precisará manter seu sistemas legados operacional por pelo menos algum tempo, caso você descubra que algo está errado. Não fazer isso pode ser prejudicial se você precisar reverter e não tiver nada para oferecer suporte ao seu data warehouse.

Abordagens de migração de data warehouse

Depois de discutir a importância e os benefícios de mudar para a nuvem, vamos discutir como você muda para a nuvem. Existem algumas abordagens diferentes para a migração para a nuvem. Conforme mencionado anteriormente, é essencial para você obter um entendimento completo de onde seu data warehouse está atualmente para garantir que está escolhendo a abordagem certa para você.

1. Levante e mude

A abordagem de elevação e mudança para a migração de data warehouse envolve a migração de seus dados e aplicativos para a nuvem sem qualquer reprojeto ou reestruturação. A abordagem de elevação e mudança funciona melhor para organizações que estão confiantes de que seus arquitetura de armazém de dados está funcionando perfeitamente bem e deseja apenas migrar para a nuvem para obter benefícios adicionais, como segurança aprimorada, conformidade ou até mesmo recuperação de desastres.

Também conhecida como rehosting, a abordagem lift and shift também pode ajudar a economizar custos envolvidos na compra e manutenção de equipamentos de armazenamento e espaço para armazenar seus dados e aplicativos e aumentar a disponibilidade de seu data warehouse.

2. Simplifique e migre

A segunda opção para migrar seu data warehouse para a nuvem é simplificar a arquitetura antes da migração. Essa abordagem, mais comumente conhecida como refatoração, envolve a modificação da arquitetura do seu data warehouse para garantir que ele se adapte ao ambiente de nuvem para que você possa colher os benefícios da nuvem. Preparar seu data warehouse para a nuvem pode significar diversas coisas, desde torná-lo mais flexível até melhorar sua escalabilidade.

3. Redesenhar e migrar completamente

Em alguns casos, uma avaliação de sua arquitetura de data warehouse atual revelará que ela não é adequada para a nuvem. Em situações como essas, as organizações precisam criar um novo data warehouse do zero para que possa ser usado na nuvem. Dito isso, você pode se inspirar em seu data warehouse local existente para ver como resolver um problema específico ou lidar com uma determinada situação de forma mais eficiente com seu data warehouse recém-projetado.

Desafios de migração de data warehouse

Migrar seu data warehouse para a nuvem pode apresentar alguns desafios diferentes. Aqui estão alguns desafios de migração de data warehouse do local para a nuvem que você precisa conhecer antes de migrar seu data warehouse para a nuvem:

1. Planejando novamente o seu modelo de dados

Ao migrar seu data warehouse para a nuvem, geralmente é recomendado seguir uma abordagem de desnormalização para aprimorar o desempenho. Dito isso, o processo de desnormalização pode ser complicado, especialmente porque pode ser necessário manter seus modelos de dados novos e antigos funcionando em harmonia durante o processo de migração.

2. Gerenciando procedimentos armazenados

Os procedimentos armazenados são essencialmente declarações que ajudam a preservar dados e informações específicas para o funcionamento interno de seu data warehouse. Infelizmente, a maioria dos data warehouses em nuvem não tem um mecanismo para alavancar procedimentos armazenados existentes ou criar novos, causando problemas para os usuários do data warehouse. Por esse motivo, as organizações que estão movendo seus data warehouses para a nuvem podem ter que usar uma plataforma adicional para orquestração de processos e outras tarefas semelhantes.

É importante manter isso em mente e fazer sua pesquisa em data warehouses em nuvem para garantir que a eficiência de sua organização não seja afetada caso seu data warehouse em nuvem não ofereça suporte a procedimentos armazenados.

3. Estabelecer conectividade entre seu novo data warehouse e aplicativos personalizados

Conectar seus aplicativos personalizados ao data warehouse em nuvem pode não ser tão simples quanto você gostaria. Embora alguns aplicativos personalizados possam ser facilmente conectados e integrados ao data warehouse em nuvem apenas alterando algumas instruções SQL aqui e ali, talvez seja necessário mergulhar mais fundo para descobrir outros problemas de conectividade. Freqüentemente, esses problemas podem se manifestar na forma de dados errôneos ou inconsistentes, que podem causar problemas se não forem detectados em tempo hábil.

O Quê Astera Ofertas do DW Builder

Construído em cima de Asterarenomada plataforma de integração de dados empresariais, Astera O DW Builder vem com uma interface intuitiva, um módulo de serviço de dados robusto para consultas mais fáceis e integração perfeita com sistemas de arquivos e plataformas de nuvem, tornando mais fácil mover seu data warehouse local para a nuvem. Nossa poderosa ferramenta de automação de data warehouse também permite que você implante em provedores de nuvem populares e crie instruções SQL nativas para a plataforma de destino, economizando para você e sua equipe semanas de compreensão e codificação de consultas na nova plataforma.

Com o Astera DW Builder, sua organização pode aproveitar todos os benefícios da nuvem e realizar análises mais rápidas com flexibilidade, disponibilidade e escalabilidade como nunca antes. Entre em contato hoje para ver Astera DW Builder ao vivo em ação ou para descobrir como Astera O DW Builder pode ajudar em seu caso de uso específico.